GradSentry: Gradient Spectral Entropy for Backdoor Sample Filtering in Large Language Model Fine-Tuning
GradSentry：基于梯度谱熵的大模型微调后门样本过滤
🧭 大模型微调安全 · 后门防御
School of Computer Science, Shanghai Jiao Tong University
利用梯度谱熵区分后门与干净样本，无需聚类，在1%-90%投毒比例下均有效
📌 工作参考价值（4 点）
- 使用不可信数据微调推荐或对话模型时，可集成 GradSentry 进行数据清洗：对每个样本计算梯度谱熵，用自动阈值过滤高熵后门样本，避免模型植入后门。
- 方法训练无关，适用于 LoRA、Adapter 等参数高效微调，无需修改现有微调流程，可直接在梯度计算后附加过滤步骤。
- 计算开销极低（7B 模型每样本 20-50 ms），适合大规模电商语料或用户行为数据微调前的快速扫描。
- 无需聚类且对投毒比例鲁棒，特别适合电商场景中投毒比例未知、正负样本极不平衡的真实数据。